講義概要/Class Outline

社会の高度情報化に伴い，大量の電子化文書があふれている．これらから必要な情報を取得するための技術として，自然言語処理システムは益々重要になってきている．本科目では，自然言語処理の要素技術，機械翻訳，情報抽出，文書分類などを題材として，自然言語処理における「言語が持つ規則性の表現法」，「解析／変換の手法」，「曖昧さ解消法」，「情報の抽出手法」を理解する．  

講義計画 /Class Structure

回	内容
1	自然言語処理概論 自然言語処理技術の発達の歴史を辿り，形態素解析，構文解析，意味解析，文脈解析といった各解析の位置づけを行う．
2	形態素解析 - 規則性の表現 - 演習１：規則を満たす解を求めてみる - 形態素解析と仮名漢字変換の関係 - 曖昧さとその絞込み法 - 演習２：規則を満たし，優先される解を求めてみる
3	小テスト，文脈自由文法 - 小テスト１（前回演習２と同形式） - 文脈自由文法と導出，構文木（導出木） - 演習３：導出，構文木
4	文脈自由文法による構文解析 - 演習４：日本語の小規模文法を満たす構文木をすべて求めてみる - 曖昧さの絞込みの古典的手法（ヒューリスティック，選択制約）とその問題点
5	確率文脈自由文法 - 確率文脈自由文法と構文木の生起確率 - 確率文脈自由文法による統語的曖昧さの絞込み - 演習５：確率文脈自由文法による演習４の問題の統語的曖昧さの絞込み - 確率文脈自由文法のパラメタ推定
6	小テスト，統計的機械翻訳 - 小テスト２（演習５と同形式） - 統計的機械翻訳概説
7	意味解析，文脈解析 - 単語の語義の選択，明示されない意味関係の推定（意味解析） - 文脈に依存した意味，意図の推定，照応解析（文脈解析） - 演習６：Centering 理論に沿った照応解析
8	対話システム - 話題に依存しない対話システム（ex. ELIZA） - 話題に依存した対話システム - 大量の文書を利用した対話システム
9	文書のキーワード抽出（１） - tf-idf による手法 - その他の手法概説 - プログラミング言語 awk（または perl）入門
10	文書のキーワード抽出（２） - 演習７：文書のキーワード抽出プログラムの作成
11	文書要約 - 文の不要語の削除による要約 - 重要文抽出（非重要文の削除）による要約 - 演習８：重要文抽出による要約プログラムの作成
12	その他の情報抽出 - 固有名抽出 - 評価表現の抽出 - 意見・動向情報の抽出
13	文書分類 - 文書分類の一般的手法 - 経験的な尤度を利用した文書分類手法 - 統計的な尤度を利用した文書分類手法 - 簡易版 Spam フィルター
14	まとめ